Het kasteel van Saffelberg werd voor het eerst vermeld in het begin van de 18de eeuw en werd toen bewoond door de familie Wouters.
In 1843 werd erfgenaam, Charles-Joseph Wouters, ridder vanaf 1848, provincieraadslid en burgemeester van Gooik van 1843 tot 1878, eigenaar van Saffelberg.
Na het overlijden van de laatste twee kinderen van Charles-Joseph Wouters werd Saffelberg eigendom van hun nicht, Marie de Wouters de Bouchout, echtgenote van baron Philippe-Charles-Marie van Oldeneel tot Oldenzeel (1857-1938). Tussen 1909-1912 bouwde deze familie op dit domein een nieuw kasteel waarna het oude landhuis werd afgebroken en het domein heraangelegd. Het kasteel werd ontworpen door architect Gustave Van den Bemden in een neo-Franse-renaissancestijl.
Begin 2007 verwierf Jos Sluys, CEO van Saffelberg Investments, het kasteel van Saffelberg dat dringend aan renovatie toe was. Gedurende een periode van bijna vijf jaar werd het kasteel tot in de kleinste details gerestaureerd en verkreeg het terug zijn oude historische glorie van weleer. Vandaag heeft Saffelberg Investments haar kantoren in dit prachtig gerestaureerd kasteel van Gooik.